Kể từ khi thành lập Cộng hòa Nhân dân Trung Hoa vào năm 1949, ABC đã được thành lập và bãi bỏ nhiều lần. Năm 1951, hai ngân hàng của Trung Hoa Dân Quốc, Ngân hàng Nông dân Trung Quốc và Ngân hàng Hợp tác, đã sáp nhập để thành lập Ngân hàng Hợp tác Nông nghiệp. Tuy nhiên, ngân hàng này đã được sáp nhập vào Ngân hàng Nhân dân Trung Quốc vào năm 1952. Ngân hàng đầu tiên mang tên Ngân hàng Nông nghiệp Trung Quốc được thành lập vào năm 1955, nhưng được sáp nhập vào ngân hàng trung ương vào năm 1957. Năm 1963 chính phủ Trung Quốc thành lập một ngân hàng nông nghiệp khác cũng được sáp nhập vào ngân hàng trung ương hai năm sau đó. Ngân hàng Nông nghiệp Trung Quốc ngày nay được thành lập vào tháng 2 năm 1979. Nó được tái cấu trúc để thành lập một công ty cổ phần có tên là Ngân hàng Nông nghiệp Trung Quốc Limited.[7] Nó được niêm yết trên thị trường chứng khoán Thượng Hải và Hồng Kông vào tháng 7 năm 2010 [8]

Vào tháng 4 năm 2007, ABC là nạn nhân của vụ trộm ngân hàng lớn nhất trong lịch sử Trung Quốc. Điều này xảy ra khi hai thủ quỹ tại Hàm Đan, chi nhánh của ngân hàng ở tỉnh Hà Bắc tham ô gần 51 triệu nhân dân tệ (Mỹ $ 7,5 triệu).[9]

Năm 2012, ABC bắt đầu một dự án chuyển sang Hệ thống Ngân hàng Avaloq.[10][11]

Trong cuộc khủng hoảng Triều Tiên năm 2013, Ngân hàng Nông nghiệp Trung Quốc đã ngừng kinh doanh với một ngân hàng Bắc Triều Tiên bị Hoa Kỳ cáo buộc tài trợ cho các chương trình tên lửa và hạt nhân của Bình Nhưỡng.[12]